对于使用高性能机器学习算法通常不透明的决策,人们越来越担心。用特定于领域的术语对推理过程的解释对于在医疗保健等风险敏感领域中采用至关重要。我们认为,机器学习算法应该可以通过设计来解释,并且表达这些解释的语言应与域和任务有关。因此,我们将模型的预测基于数据的用户定义和特定于任务的二进制函数,每个都对最终用户有明确的解释。然后,我们最大程度地减少了在任何给定输入上准确预测所需的预期查询数。由于解决方案通常是棘手的,因此在事先工作之后,我们根据信息增益顺序选择查询。但是,与以前的工作相反,我们不必假设查询在有条件地独立。取而代之的是,我们利用随机生成模型(VAE)和MCMC算法(未经调整的Langevin)来选择基于先前的查询 - 答案的输入的最有用的查询。这使得在线确定要解决预测歧义所需的任何深度的查询链。最后,关于视觉和NLP任务的实验证明了我们的方法的功效及其优越性比事后解释的优势。
translated by 谷歌翻译
Many scientific fields -- including biology, health, education, and the social sciences -- use machine learning (ML) to help them analyze data at an unprecedented scale. However, ML researchers who develop advanced methods rarely provide detailed tutorials showing how to apply these methods. Existing tutorials are often costly to participants, presume extensive programming knowledge, and are not tailored to specific application fields. In an attempt to democratize ML methods, we organized a year-long, free, online tutorial series targeted at teaching advanced natural language processing (NLP) methods to computational social science (CSS) scholars. Two organizers worked with fifteen subject matter experts to develop one-hour presentations with hands-on Python code for a range of ML methods and use cases, from data pre-processing to analyzing temporal variation of language change. Although live participation was more limited than expected, a comparison of pre- and post-tutorial surveys showed an increase in participants' perceived knowledge of almost one point on a 7-point Likert scale. Furthermore, participants asked thoughtful questions during tutorials and engaged readily with tutorial content afterwards, as demonstrated by 10K~total views of posted tutorial recordings. In this report, we summarize our organizational efforts and distill five principles for democratizing ML+X tutorials. We hope future organizers improve upon these principles and continue to lower barriers to developing ML skills for researchers of all fields.
translated by 谷歌翻译
Neural networks can be trained to solve regression problems by using gradient-based methods to minimize the square loss. However, practitioners often prefer to reformulate regression as a classification problem, observing that training on the cross entropy loss results in better performance. By focusing on two-layer ReLU networks, which can be fully characterized by measures over their feature space, we explore how the implicit bias induced by gradient-based optimization could partly explain the above phenomenon. We provide theoretical evidence that the regression formulation yields a measure whose support can differ greatly from that for classification, in the case of one-dimensional data. Our proposed optimal supports correspond directly to the features learned by the input layer of the network. The different nature of these supports sheds light on possible optimization difficulties the square loss could encounter during training, and we present empirical results illustrating this phenomenon.
translated by 谷歌翻译
每个自动驾驶数据集都有不同的传感器配置,源自不同的地理区域并涵盖各种情况。结果,3D检测器倾向于过度拟合他们的数据集。当在一个数据集上训练检测器并在另一个数据集上进行测试时,这会导致精度急剧下降。我们观察到激光扫描模式差异构成了这种降低性能的很大组成部分。我们通过设计一个新颖的以观看者为中心的表面完成网络(VCN)来完成我们的方法,以在无监督的域适应框架内完成感兴趣的对象表面,从而解决此问题。使用See-VCN,我们获得了跨数据集的对象的统一表示,从而使网络可以专注于学习几何形状,而不是过度拟合扫描模式。通过采用域不变表示,可以将SEE-VCN归类为一种多目标域适应方法,在该方法中无需注释或重新训练才能获得新的扫描模式的3D检测。通过广泛的实验,我们表明我们的方法在多个域适应设置中优于先前的域适应方法。我们的代码和数据可在https://github.com/darrenjkt/see-vcn上找到。
translated by 谷歌翻译
数字取证是在数字设备中提取,保存和记录证据的过程。数字取证中的一种常用方法是从数字设备的主要内存中提取数据。但是,主要的挑战是确定要提取的重要数据。几个关键信息都存在于主内存中,例如用户名,密码和加密密钥,例如SSH会话键。在本文中,我们提出了SmartKex,SmartKex是一种机器学习辅助方法,以从OpenSSH进程的Heap Memory快照中提取会话键。此外,我们发布了一个公开可用的数据集和用于创建其他数据的相应工具链。最后,我们将SmartKex与幼稚的蛮力方法进行比较,并从经验上表明,SmartKex可以以高精度和高吞吐量提取会话键。有了提供的资源,我们打算加强有关数字取证,网络安全和机器学习之间交集的研究。
translated by 谷歌翻译
与人类驾驶相比,自动驾驶汽车有可能降低事故率。此外,这是自动车辆在过去几年中快速发展的动力。在高级汽车工程师(SAE)自动化级别中,车辆和乘客的安全责任从驾驶员转移到自动化系统,因此对这种系统进行彻底验证至关重要。最近,学术界和行业将基于方案的评估作为道路测试的互补方法,减少了所需的整体测试工作。在将系统的缺陷部署在公共道路上之前,必须确定系统的缺陷,因为没有安全驱动程序可以保证这种系统的可靠性。本文提出了基于强化学习(RL)基于场景的伪造方法,以在人行横道交通状况中搜索高风险场景。当正在测试的系统(SUT)不满足要求时,我们将场景定义为风险。我们的RL方法的奖励功能是基于英特尔的责任敏感安全性(RSS),欧几里得距离以及与潜在碰撞的距离。
translated by 谷歌翻译
近年来,人类面孔的影子化化身已经走了很长一段路,但是该地区的研究受到缺乏公开可用的高质量数据集的限制。在这项工作中,我们介绍了Multiface,这是一种新的多视图,高分辨率的人脸数据集,该数据集是从13个身份的神经面部渲染研究中收集的13个身份。我们介绍了Mugsy,这是一种大型多摄像机设备,可捕获面部表现的高分辨率同步视频。 Multiface的目的是缩小学术界高质量数据的可访问性的差距,并使VR触觉研究能够进行研究。随着数据集的释放,我们对不同模型体系结构对模型的新观点和表达式的插值能力进行消融研究。通过有条件的VAE模型作为我们的基线,我们发现添加空间偏见,纹理翘曲场和残差连接可改善新型视图合成的性能。我们的代码和数据可在以下网址获得:https://github.com/facebookresearch/multiface
translated by 谷歌翻译
近年来,神经网络(NNS)的普及及其在现实世界应用中的普遍性的日益普及引起了人们对其验证的重要性的关注。虽然验证在理论上是计算困难的,但在实践中提出了许多解决该验证的技术。在文献中已经观察到,默认情况下,神经网络很少满足我们想要验证的逻辑约束。良好的行动是在验证验证之前训练给定的NN满足上述约束。这个想法有时被称为持续验证,指训练和验证之间的循环。通常,通过将给定正式逻辑语言的翻译指定为损失功能,可以实现带有约束的培训。然后,这些损失功能用于训练神经网络。因为为了培训目的,这些功能需要可区分,因此这些翻译称为可区分逻辑(DL)。这提出了几个研究问题。什么样的可区分逻辑是可能的?在连续验证的背景下,DL的特定选择有什么区别?从最终损失函数的角度来看,DL的理想标准是什么?在这个扩展的摘要中,我们将讨论并回答这些问题。
translated by 谷歌翻译
眼科图像可能包含相同的外观病理,这些病理可能导致自动化技术的失败以区分不同的视网膜退行性疾病。此外,依赖大型注释数据集和缺乏知识蒸馏可以限制基于ML的临床支持系统在现实环境中的部署。为了提高知识的鲁棒性和可传递性,需要一个增强的特征学习模块才能从视网膜子空间中提取有意义的空间表示。这样的模块(如果有效使用)可以检测到独特的疾病特征并区分这种视网膜退行性病理的严重程度。在这项工作中,我们提出了一个具有三个学习头的健壮疾病检测结构,i)是视网膜疾病分类的监督编码器,ii)一种无监督的解码器,用于重建疾病特异性的空间信息,iiii iii)一个新的表示模块,用于学习模块了解编码器折叠功能和增强模型的准确性之间的相似性。我们对两个公开可用的OCT数据集的实验结果表明,该模型在准确性,可解释性和鲁棒性方面优于现有的最新模型,用于分布视网膜外疾病检测。
translated by 谷歌翻译
最近的自动驾驶汽车(AV)技术包括机器学习和概率技术,这些技术为传统验证和验证方法增添了重大复杂性。在过去的几年中,研究社区和行业已广泛接受基于方案的测试。由于它直接关注相关的关键道路情况,因此可以减少测试所需的努力。编码现实世界流量参与者的行为对于在基于方案的测试中有效评估正在测试的系统(SUT)至关重要。因此,有必要从现实世界数据中捕获方案参数,这些参数可以在模拟中实际建模。本文的主要重点是确定有意义的参数列表,这些参数可以充分建模现实世界改变场景。使用这些参数,可以构建一个参数空间,能够为AV测试有效地生成一系列具有挑战性的方案。我们使用均方根误差(RMSE)验证我们的方法,以比较使用所提出的参数与现实世界轨迹数据生成的方案。除此之外,我们还证明,在一些场景参数中增加一些干扰可以产生不同的场景,并利用对责任敏感的安全(RSS)度量来衡量场景的风险。
translated by 谷歌翻译